最近,引入了图像表示学习的自我监督方法,以与其完全监督的竞争对手相比,以较高的结果或卓越的结果提供了解释自我监督的方法的相应努力。在这一观察过程中,我们引入了一个新颖的视觉探测框架,用于通过利用自然语言处理中使用的探测任务来解释自我监督模型。探测任务需要有关图像部分之间语义关系的知识。因此,我们提出了一种系统的方法来获得视觉,视觉,上下文和分类学等自然语言的类似物。我们的建议基于Marr的视觉计算理论和质地,形状和线条等特征。我们在解释自我监督的表示的背景下显示了这些类似物的有效性和适用性。我们的主要发现强调,语言和视觉之间的关系可以作为发现机器学习模型如何工作(独立于数据模式)的有效但直观的工具。我们的工作打开了大量的研究途径,通向更可解释和透明的AI。
translated by 谷歌翻译